Amazon Aurora Optimized Reads 和 pgvector 如何協助你優化生成式AI應用程式效能
-
DIGITIMES
/
台北
- 2024-04-21 10:38:27
生成式AI應用程式正在重塑企業處理非結構化資料的方式。無論是文字、影像還是影音，生成式AI都能夠將這些資訊轉換成向量形式，捕捉其內在意義與上下文，進而實現高效的相似性比對與搜尋。而Amazon Aurora PostgreSQL相容版本搭配pgvector擴充功能，正是實現此一願景的絕佳利器。然而，隨著向量工作負載規模的不斷擴大，效能瓶頸亦逐漸浮現。Amazon Aurora Optimized Reads的推出，為生成式AI應用程式注入全新動能，讓pgvector在向量相似性搜尋的效能大幅提升，開啟生成式AI在企業應用的嶄新紀元。
生成式AI工作負載的效能痛點
生成式AI應用程式的核心在於大量文句預訓練產生的大語言模型，而其中對於文句的處理便需要向量嵌入模型，將這些文句轉變成向量資料做輸入。這些模型能夠將非結構化資料轉換成高維度向量，以數值形式表徵其內在意義。然而，這些高維度向量往往佔用龐大的記憶體空間，一旦超出資料庫執行個體的記憶體容量，就必須從磁碟系統讀取資料，從而導致效能嚴重下降。
舉例來說，Amazon Titan Embeddings G1 - Text嵌入模型所產生的向量維度高達1536 byte，每個向量約佔6KB空間。若要對10億個這樣的向量進行相似性搜尋，將需要將5.7TB的資料載入記憶體，對於大多數資料庫執行個體而言，這顯然是無法負荷的工作負載。
傳統的資料庫系統無法有效處理如此大規模的向量相似性搜尋需求，因此企業在建置生成式AI應用程式時，往往受到效能瓶頸的限制。
Optimized Reads助力pgvector HNSW索引飆升效能
Amazon Aurora Optimized Reads正是解決這一痛點的新功能，透過利用本地NVMe快取，大幅減少對網路儲存的存取，提升向量查詢效能。當搭配pgvecto
